Mao thoát được bạch sắc khủng bố vào năm 1927 và lãnh đạo Cuộc khởi nghĩa Vụ gặt Mùa thu ở Trường Sa, Hồ Nam nhưng thất bại. Tàn quân du kích chưa đầy 1.000 người của Mao tìm nơi ẩn náu ở vùng núi Tỉnh Cương Sơn, nơi giáp giới giữa hai tỉnh Hồ Nam và Giang Tây. Năm 1928 đội quân này hợp nhất với quân của Chu Đức, lập ra Quân đoàn 4 công nông, do Chu Đức làm Quân đoàn trưởng. Mao đã góp phần xây dựng căn cứ, chính quyền và một quân đội tiến hành chiến tranh du kích có hiệu quả, thực hiện cải cách ruộng đất. Chính tại nơi đây từ 1931 đến 1934, nhà nước Cộng hòa Xô-viết Trung Hoa được lập ra và Mao được bầu làm Chủ tịch Chính phủ Trung ương lâm thời. Vào thời kỳ này, Mao kết hôn với Hạ Tử Trân, sau khi Dương Khai Tuệ bị lực lượng Quốc dân Đảng giết chết.

Khu Xô-viết này trở thành nơi trú ngụ của Ban Lãnh đạo Đảng Cộng sản chạy trốn sự khủng bố của Tưởng Giới Thạch ở các thành phố lớn, chủ yếu là Thượng Hải. Dưới áp lực của các chiến dịch bao vây càn quét của Quốc dân Đảng, trong nội bộ Ban Lãnh đạo Đảng Cộng sản diễn ra cuộc tranh giành quyền lực và đấu tranh về đường lối và chiến thuật. Phe theo đường lối chính thống của Moskva, mà đại diện là nhóm 28 người Bolshevik, đã thắng thế và Mao dần dần bị gạt ra khỏi các chức vụ quan trọng.

Với quyết tâm tiêu diệt bằng được những người cộng sản, tháng 10 năm 1934 Tưởng Giới Thạch trực tiếp chỉ huy 50 vạn quân bao vây tấn công khu Xô-viết trung ương, buộc Hồng quân phải mở đường máu rời bỏ nơi đây, tiến hành cuộc Vạn lý trường chinh cực kỳ gian khổ, vượt 9.600 km trong suốt một năm trời để đến tỉnh Thiểm Tây xây dựng căn cứ mới. Trên đường trường chinh Mao Trạch Đông đã bước lên nắm quyền lãnh đạo từ Hội nghị Tuân Nghĩa họp vào tháng 1 năm 1935. Tại hội nghị này, Chu Ân Lai ngả về phía Mao, Tổng Bí thư Bác Cổ và cố vấn quân sự Otto Braun (tên Trung Quốc là Lý Đức) bị hạ bệ, Mao vào Ban thường vụ Bộ Chính trị, nắm quyền thực tế và năm 1943 được bầu làm Chủ tịch Bộ Chính trị Đảng Cộng sản Trung Quốc.

Từ căn cứ mới ở Diên An, Mao đã lãnh đạo những người cộng sản tiến hành cuộc kháng chiến chống Nhật (1937–1945) thông qua hợp tác Quốc–Cộng lần thứ hai. Tại đây, Mao đã củng cố quyền lực trong Đảng Cộng sản bằng cách mở cuộc vận động chỉnh phong. Tại Đại hội lần thứ 7 của Đảng Cộng sản Trung Quốc họp tại Diên An tháng 6 năm 1945, Mao được bầu làm Chủ tịch Ban chấp hành Trung ương Đảng. Cũng tại Diên An, Mao ly thân với Hạ Tử Trân và lấy Lam Bình, một diễn viên mới tới Diên An mà sau này khuynh đảo chính trường Trung Quốc với tên gọi là Giang Thanh.

Ngay sau khi Chiến tranh Trung-Nhật kết thúc, nội chiến đã diễn ra giữa Quốc dân Đảng và Đảng Cộng sản, kết thúc bằng thắng lợi của Đảng Cộng sản vào năm 1949.